Vinci2: Providing Proactive Assistance in Continuous Egocentric Videos
面向连续第一视角视频的主动式助手基准与记忆增强智能体
🧭 主动式智能体 · 长时记忆检索 ★ 深度解读
大连理工大学 · Alaya Lab · 东京大学
构建首个大规模主动式辅助基准 EgoServe，提出免训练记忆增强智能体 EgoMemo，实现基于多尺度记忆的自主干预决策
📌 工作参考价值（4 点）
- 多尺度记忆层次可直接迁移到用户行为建模：将用户 long-term behavior 序列按粒度组织为「短期行为（clip）→ 活动总结（activity）→ 长周期例行（session）」的层次化摘要，在推荐或 push 触发时按需检索不同粒度的上下文，缓解长记忆灾与窗口限制。
- 知识图谱 + 多模态嵌入的并行检索设计值得借鉴：EgoMemo 同时维护语义知识图谱（实体关系）和视觉嵌入库（难以文本化的视觉细节），多路并行检索后做 caption 重建，这一范式可改造用于商品知识图谱 + 用户行为序列检索，提升推荐解释的上下文还原度。
- 将主动干预决策建模为检索增强推理输出：主动推送时机不再依赖硬规则事件检测，而是让 Agent 基于当前上下文 + 检索到的长程记忆自主生成干预决策与内容，可直接应用于电商消息推送、智能客服主动发起对话等场景。
- Caption 重建步骤桥接检索片段与完整上下文：检索到的片段往往是零散的索引或 caption，用 VLM 根据检索目标和原片段重构连贯描述，这能解决 RAG 类系统中“碎片化证据无法直接用于推理”的痛点，可复用到生成式推荐的结果解释或对话上下文中。